Om FOSS analytics med duckdb och minio

• Vad är “Analytical DBMS” och “object storage”?
• Vad är duckdb och minio och varför dessa komponenter?
• Demo med lite exempeldata
• Workshop - prova på?

Varför använda “Analytical DBMS”?

Vill kunna jobba med snabba frågor mot stora dataset för att göra analyser snabbt. Här finns många FOSS-lösningar, både molnbaserade kommersiella och hybridlösningar.

• Ett populärt FOSS-verktyg för att jobba med större dataset är Apache Spark där bla DataBricks erbjuder en tjänstelösning.
• Ett annat är bra verktyg är ClickHouse som också har en molnlösning.
• Det finns också Postgresbaserade alternativ med tjänstelösningar i molnet som GreenPlum.

Data samlas gärna så att den är åtkomlig via S3-protokollet.

• Olika molnlösningar finns från Amazon, GCP, Azure, DO, Backblaze etc.

Ofta ligger fokus på omfattande snabba läsningar snarare än många samtidiga skrivningar till datakällan.

Vad är duckdb?

Varför är duckdb intressant?

• Länk: Benchmark Analytical DBMS från ClickHouse

• Länk: In-process OLAP presentation från https://nyhackr.org/past-talks.html

• Länk: WASM-variant av duckdb-skalet

Ju långsammare nätverk desto längre till data…

“Bring the engine to the data”

… vi använder därför containers på samma SDN (Software Defined Network) för låg nätverkslatens mellan databasmotor och data så blir det praktiskt och snabbt, och kan köras på hemmaplan och/eller i de dimmiga molnen.

Ladda exempeldata i “duckdb”

Vi använder lite exempeldata från digitala vetenskapliga arkivet.

library(kthcorpus) # from https://github.com/kth-library/kthcorpus

# get some example publication data from DiVA (digitala vetenskapliga arkivet)
publications <- kth_diva_pubs()
authors <- kth_diva_authors()

Mjukvaran från duckdb är en kolumnorienterad inbäddningsbar “in-process” OLAP-motor. Här kopplar vi direkt till ovanstående data (in-memory) och kör en klassisk SQL-fråga:

library(dplyr)
library(duckdb)

# load it into a RDBMS (duckdb)
con <- dbConnect(duckdb())
duckdb_register(con, "publications", publications)
duckdb_register(con, "authors", authors)

# now we can use custom SQL queries
con %>% dbGetQuery("SELECT count(*) from authors a left join publications p on a.PID = p.PID")

  count_star()
1       306912

Dataformat - Arrow, Parquet mm

Vi kan använda moderna format såsom Arrow och Parquet med duckdb:

library(arrow)

# write parquet data from in-memory data
write_parquet(publications, "/tmp/publications.parquet")
write_parquet(authors, "/tmp/authors.parquet")

# read this data from parquet format using duckdb
con <- dbConnect(duckdb())

mypubs <- con %>% 
  dbGetQuery("SELECT * FROM PARQUET_SCAN('/tmp/publications.parquet')")

# query using tidyverse APIs
mypubs |> 
  filter(grepl("Java", Abstract)) |>
  arrange(desc(PublicationDate)) |>
  slice(1:50) |> 
  select(Title, PublicationDate, Abstract) |> 
  mutate(Abstract = gsub("</?p>", "", Abstract)) |> 
  DT::datatable()

Exempel på docker-compose.yml

Exempel på en sådan setup av minio och duckdb mm finns i repot här https://github.com/mskyttner/duckdbrest:

Vi kan exv köra dessa tjänster tillsammans (duckdb m webinterface via gotty, minio, postgres och nginx):

version: '3.7'

services:

  gotty:
    image: duckdbrest:v0.5.1
    ports:
      - "8080:1294"
    command: sh -c "envsubst < /data/init.sql > ~/.duckdbrc && gotty --port ${PORT:-1294} --permit-write --reconnect duckdb -unsigned -interactive myduck.db -readonly"
    environment:
      - MC_HOST_s3=http://minioadmin:minioadmin@minio:9000
      - S3_ENDPOINT='minio:9000'
      - S3_USER='minioadmin'
      - S3_PASS='minioadmin'
      - S3_USE_SSL=false
      - S3_REGION=''
      - S3_URL_STYLE='path'
      - S3_BUCKET=demo
    volumes:
      - ./init.sql:/data/init.sql

  bashapi:
    image: duckdbrest:v0.5.1
    ports:
      - "8181:8181"
    command: bash -c "cd /bash-cli-api && DDB_PATH=/data/myduck.db ./index.sh"

  sherver:
    image: duckdbrest:v0.5.1
    ports:
      - "8282:8282"
    command: bash -c "cd /sherver && ./sherver.sh 8282 2> /proc/1/fd/1"

  minio:
    image: quay.io/minio/minio
    command: server /data --console-address ":9001"
    environment:
      - MINIO_ROOT_USER=minioadmin
      - MINIO_ROOT_PASSWORD=minioadmin
      - MINIO_API_SELECT_PARQUET=on
      - MINIO_BROWSER_REDIRECT_URL=http://localhost/minio
    ports:
      - 9000:9000
      - 9001:9001
    volumes:
      - ./s3:/data

  nginx:
    image: nginx:alpine
    volumes:
      - ./mitm.conf:/etc/nginx/conf.d/default.conf:ro
    ports:
      - 80:80

  postgres:
    image: postgres:14.5-alpine
    environment:
      POSTGRES_DB: 'post'
      POSTGRES_USER: 'post'
      POSTGRES_PASSWORD: 'post'
    ports:
      - 5432:5432

Frågor från duckdb mot data i S3, postgres etc

Om vi laddar data till Postgres…. exv dessa tidigare två dataset…

library(DBI)

con <- dbConnect(
  drv = RPostgres::Postgres(), 
  host = "127.0.0.1", port = 5432, 
  user = "post", password = "post")

con %>% dbListTables()

con %>% dbWriteTable("authors", authors)
con %>% dbWriteTable("publications", publications)

con %>% dbListTables()

dbDisconnect(con)